Knowledge Squeezed Adversarial Network Compression

Posted on | In

简介

由于网络规模的巨大差距，小型网络无法完美地模仿大型网络，故提出了一种在对抗性训练框架下，用中间监督的知识转移方法来训练学生网络。

网络介绍

网络结构：
network

总体损失：
loss

其中，
backbone loss

adversarial loss

adversarial loss
adversarial loss
adversarial loss
对抗训练损失包括GAN与CGAN两种损失

intermediate loss

结果

在CIFAR-10与CIFAR-100上与其他方法进行对比：
result

特点

  • 运用attention transfer在学生与教师网络训练中间block进行损失计算
  • 对抗训练中两种对抗损失